Low-intrusive recognition of expressive movement qualities

Authors Info & Affiliations

In this paper we present a low-intrusive approach to the detection of expressive full-body movement qualities. We focus on two qualities: Lightness and Fragility and we detect them using the data captured by four wearable devices, two Inertial Movement Units (IMU) and two electromyographs (EMG), placed on the forearms. The work we present in the paper stems from a strict collaboration with expressive movement experts (e.g., contemporary dance choreographers) for defining a vocabulary of basic movement qualities. We recorded 13 dancers performing movements expressing the qualities under investigation. The recordings were next segmented and the perceived level of each quality for each segment was ranked by 5 experts using a 5-points Likert scale. We obtained a dataset of 150 segments of movement expressing Fragility and/or Lightness. In the second part of the paper, we define a set of features on IMU and EMG data and we extract them on the recorded corpus. We finally applied a set of supervised machine learning techniques to classify the segments. The best results for the whole dataset were obtained with a Naive Bayes classifier for Lightness (F-score 0.77), and with a Support Vector Machine classifier for Fragility (F-score 0.77). Our approach can be used in ecological contexts e.g., during artistic performances.

本論文では、表現力豊かな全身の動きの質を検出するための、低侵襲的なアプローチを紹介します。本研究では、2つの品質に焦点を当てる。軽さ」と「脆さ」という2つの品質に着目し、前腕部に装着した2つの慣性移動装置（IMU）と2つの筋電計（EMG）という4つのウェアラブルデバイスで取得したデータを用いて検出します。本論文で紹介する作業は、基本的な動きの質の語彙を定義するために、表現力のある動きの専門家（コンテンポラリーダンスの振付師など）との厳しい共同作業から生まれました。私たちは、13人のダンサーが調査対象の品質を表現する動きを行っている様子を記録しました。その結果，150のセグメントからなるデータセットが得られた．その結果、「儚さ」や「軽さ」を表現した150のセグメントが得られました。本論文の第2部では、IMUおよびEMGデータの特徴を定義し、それらを記録されたコーパスから抽出しました。最後に、教師付き機械学習の手法を用いて、セグメントを分類しました。データセット全体で最も良い結果が得られたのは、「明るさ」についてはナイーブベイズ分類器（Fスコア0.77）、「脆さ」についてはサポートベクターマシン分類器（Fスコア0.77）でした。我々のアプローチは、芸術的なパフォーマンスの際など、エコロジカルな状況で使用することができます。